脑电图(EEG)是研究脑活动的关键工具。最近,利用大型未标记数据集的自我监督学习方法已成为潜在的解决方案,以解决广泛可用的脑电图数据。然而,当前的方法至少受到以下局限性之一:i)次优的脑电图信号建模,ii)数以亿个可训练的参数中的模型尺寸,以及iii)依赖Pri-Private数据集和/或不一致的公共基准标准,Hin-Dring Reproducuctibility。为了应对这些挑战,我们使用了一个新的小型脑电图基础模型(Cerebro)来介绍Br ain o恐怖的介绍(Cerebro)。我们的令牌化方案代表每通道斑块粒状的EEG信号。我们提出了一种交替的注意机制,该机制可以共同建模通道内的时间动力学和通道间空间相关性,与Stan-Dard自我注意力相比,以6×速度的记忆力更少,可实现2×速度的改进。我们提出了几个型号,从360万到8500万个参数不等。在超过20,000个小时的公开可用的头皮脑电图记录中,我们的模型在情感检测和癫痫发作检测任务中设定了新的基准,并具有在异常分类和步态预测方面具有竞争性表现。这验证了我们的模型的效率和效率。
主要关键词